Feature Matching for Text Generation
nishio.iconFeature Matchingとは何か?
Salimans+ 2016
nishio.iconMaximum Mean Discrepancyとは何か?
GANのGにLSTM、DとEにTextCNNを使う
Eってなんだ?→Encoder
Soft-argmax approximation
argmaxは微分可能でないので扱いに難しさがあるが、これをsoftmaxに置き換えても良いのではないか、って提案。
$ W[\arg\max_i x_i] \approx W \mathrm{softmax}(L x_i)
ここでLは1000とかの大きなスカラーで、L→∞の極限ではargmaxに一致する。
計算の安定性は別途きにする必要がありそう。関連 logsumexp
Soft-argmax
Adversarial Feature Matching for Text Generation | DL Hacks
DL輪読会 Adversarial Feature Matching for Text Generation